Tháng 6 năm 1996, ông tái đắc cử Ủy viên Ban Chấp hành Trung ương khoá VIII, được phân công giữ chức Phó trưởng Ban Bảo vệ chính trị nội bộ Trung ương.

Tháng 4 năm 2001, ông tiếp tục tái đắc cử Ủy viên Ban Chấp hành Trung ương, được phân công làm Trưởng ban Bảo vệ chính trị nội bộ Trung ương.

Tại Hội nghị Trung ương 7 khóa IX, vào tháng 1 năm 2003, ông được bầu bổ sung vào Ban Bí thư, giữ chức vụ Chủ nhiệm Ủy ban Kiểm tra Trung ương.

Tại Đại hội Đảng lần thứ X, ông tiếp tục được bầu vào Ban Chấp hành Trung ương, được Trung ương bầu vào Bộ Chính trị và Ban Bí thư.

Tại Đại hội Đảng lần thứ XI, ông thôi không tham gia Ban Chấp hành Trung ương. Tuy vậy, Đại hội đã bầu con trai lớn của ông là Nguyễn Xuân Anh - Bí thư Quận ủy Liên Chiểu làm Ủy viên dự khuyết Ban Chấp hành Trung ương.